在过去的十年中,越来越多的用户开始在社交媒体平台,博客和健康论坛上报告不良药物事件(ADE)。鉴于大量报告,药物宣传的重点是使用自然语言处理(NLP)技术快速检查这些大量文本收集的方法,从而提到了与药物相关的不良反应对触发医学调查的提及。但是,尽管对任务和NLP的进步越来越兴趣,但面对语言现象(例如否定和猜测),这些模型的鲁棒性是一个公开的研究问题。否定和猜测是自然语言中普遍存在的现象,可以严重阻碍自动化系统区分文本中事实和非事实陈述的能力。在本文中,我们考虑了在社交媒体文本上进行ADE检测的四个最新系统。我们介绍了Snax,这是一种基准测试,以测试其性能,以对包含被否定和推测的ADE的样品进行样本,显示它们针对这些现象的脆弱性。然后,我们引入了两种可能提高这些模型的鲁棒性的可能策略,表明它们俩都带来了大幅提高性能,从而将模型预测的伪造实体数量降低了60%以否定为否定,而猜测为80%。
translated by 谷歌翻译